#оптимизатор Muon

Исследователи MIT разработали метод стабильного обучения больших трансформеров через липшицевы ограничения и спектральную регуляцию весов с оптимизатором Muon, исключая необходимость нормализаций.

Исследователи Microsoft показали, что оптимизатор Muon существенно ускоряет гроккинг в моделях трансформеров, обеспечивая более быстрый переход от запоминания к обобщению по сравнению с AdamW.